聯系我們
導讀：對于百度搜索引擎來說，蜘蛛黑洞特指網站通過極低的成本制造出大量參數過多，及內容雷同但具體參數不同的動態URL ，就像一個無限循環的“黑洞”將spider困住，Baiduspider浪費了大
發表日期：2019-06-05
文章編輯：興田科技
瀏覽次數：12990
標簽：
對于百度搜索引擎來說，蜘蛛黑洞特指網站通過極低的成本制造出大量參數過多，及內容雷同但具體參數不同的動態URL ，就像一個無限循環的“黑洞”將spider困住，Baiduspider浪費了大量資源抓取的卻是無效網頁。
比如很多網站都有篩選功能，通過篩選功能產生的網頁經常會被搜索引擎大量抓取，而這其中很大一部分檢索價值不高，如“500-1000之間價格的租房”，首先網站（包括現實中）上基本沒有相關資源，其次站內用戶和搜索引擎用戶都沒有這種檢索習慣。這種網頁被搜索引擎大量抓取，只能是占用網站寶貴的抓取配額。那么該如何避免這種情況呢？
我們以北京某團購網站為例，看看該網站是如何利用robots巧妙避免這種蜘蛛黑洞的：
對于普通的篩選結果頁，該網站選擇使用靜態鏈接，如：http://bj.XXXXX.com/category/zizhucan/weigongcun
同樣是條件篩選結果頁，當用戶選擇不同排序條件后，會生成帶有不同參數的動態鏈接，而且即使是同一種排序條件（如：都是按銷量降序排列），生成的參數也都是不同的。如：http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
對于該團購網來說，只讓搜索引擎抓取篩選結果頁就可以了，而各種帶參數的結果排序頁面則通過robots規則拒絕提供給搜索引擎。
robots.txt的文件用法中有這樣一條規則：Disallow: /*?* ，即禁止搜索引擎訪問網站中所有的動態頁面。該網站恰是通過這種方式，對Baiduspider優先展示高質量頁面、屏蔽了低質量頁面，為Baiduspider提供了更友好的網站結構，避免了黑洞的形成。
上一篇：
暫無信息更多新聞
2020
關于網站建設，總有很多人問我百度怎么了？有什么變化，為什么不更新等等諸如此類的問題。不論是否百度做過算法調整，或許只要因為某些事情百度不更新，也會有
View details
2023
一個良好的網站設計和結構可以提高您在搜索引擎結果頁面上的排名。通過使用適當的關鍵詞和優化技術，您的網站將在搜索引擎中更容易被發現。這將帶來更多的有機流量和潛在客戶，從而增加您的業務增長。
View details
2020
關于網站建設，很多中小企業已經意識到建設網站對企業推廣的重要性，少部分企業進行了相關的優化，讓企業的產品或者能夠提供的服務在搜索引擎上得到較好的
View details
2020
關于網站建設，DIY自助建站工具（站長工具），主要是通過使用模板和內容管理系統來建設及更新網站。使得網站建設與維護都變得容易起來。許多主機服務提供商都
View details
